Thời Minh Mạng, ấp Thanh Sơn (hiện nay là phường Đài Sơn) là vùng đất thuộc thôn Văn Sơn, huyện An Phước, phủ Ninh Thuận, tỉnh Bình Thuận[2][3]. Thời Tự Đức, cư dân nơi đây đã xây dựng một ngôi Miếu nhỏ để thờ phụng Bà Mẹ xứ sở (bà Chúa Xứ hoặc Chúa Xứ Thánh mẫu) tức là nữ thần Thiên Y A na - bà Chúa Ngọc Thánh phi, được gọi là Thanh Sơn Miếu. Đây là hiện tượng thờ phổ biến của cư dân người Việt từ miền Trung trở vô, trong quá trình di dân, khai hoang lập xong một ấp thì lưu dân xây dựng ngôi miếu thờ Chúa Xứ Thánh mẫu. Đức bà Thiên Y A Na hay Thiên Hậu Thánh Mẫu được cư dân Việt và Chăm thờ phụng rất tôn nghiêm, và đã được triều Nguyễn xếp vào bậc “Hồng nhân phổ tế linh ứng Thượng đẳng Thần”.

Ban đầu chỉ là một ngôi miếu nhỏ, đến năm Thành Thái thứ 14 được chuyển dời đến địa điểm hiện nay và xây dựng với quy mô lớn còn giữ nguyên vẹn cho đến ngày nay.

Tên gọi Miếu Xóm Bánh là do Miếu hiện nay tọa lạc tại Xóm Bánh. Nơi đây, trước kia nổi tiếng làm nghề sản xuất bánh tráng, với hàng trăm lò bánh hoạt động nhộn nhịp quanh năm. Bánh tráng Xóm Bánh có độ dai, dẻo, mùi thơm đặc trưng nhờ được làm bằng 100% bột gạo hạt tròn của địa phương.